Het oorspronkelijke kasteel van Relegem, gebouwd in de 14de eeuw, gaat vermoedelijk terug tot de Frankische tijd en werd destijds bewoond door Jan van Relegem, een Brusselse hoogwaardigheidsbekleder.
Het huidige, omgracht kasteel dateert uit de 15de eeuw en maakte deel uit van een verdedigingslinie langs de Zenne, onder invloed van de familie Berthout. De toenmalige heren namen actief deel in het politieke en militaire leven van hertogdom Brabant.
In 1747, tijdens de Franse inval, raakte het onbewoonde kasteel zwaar in verval. Niet veel later onderging het U-vormige waterkasteel een grondige transformatie onder Graaf Baillet, die de architectuur aanpaste aan de klassieke Franse woon- en leefstijl. Het poortgebouw, de ophaalbrug, de donjon en de gekanteelde omheiningsmuur werden afgebroken. De gevels aan de binnenplaats en aan de grachtzijde, evenals het dak, werden aangepast.
Vandaag behoort het kasteel van Relegem tot het familiepatrimonium van het adellijk geslacht t'Kint de Roodenbeke.